Intel aborda la brecha de la IA generativa con Gaudi 3

El acelerador de IA Intel Gaudi 3 atiende la demanda insatisfecha de soluciones de IA generativa por parte de las empresas globales, ofreciendo opciones avanzadas para impulsar la innovación y la eficiencia en sus operaciones.

Intel derriba los muros de la propiedad para ofrecer opciones al mercado de GenAI empresarial.

El acelerador de IA Intel Gaudi 3 ofrece a las empresas de todo el mundo opciones de IA generativa, basándose en el rendimiento y la escalabilidad de su predecesor Gaudi 2.

Colombia, 11 de abril, 2024 – En Intel Vision, Intel presentó el acelerador de IA Intel® Gaudi® 3, que ofrece 4 veces más capacidad de cálculo de IA para BF16, 1,5 veces más ancho de banda de memoria y 2 veces más ancho de banda de red para un escalado masivo del sistema en comparación con su predecesor, lo que supone un salto significativo en el rendimiento y la productividad para la formación y la inferencia de IA en los populares modelos de grandes lenguajes (LLM) y modelos multimodales. Basándose en el rendimiento y la eficiencia demostrados del acelerador Intel® Gaudi® 2 AI -la única alternativa MLPerf para LLM del mercado- Intel ofrece a los clientes la posibilidad de elegir entre un software abierto basado en la comunidad y una red Ethernet estándar del sector para escalar sus sistemas de forma más flexible.

«A pesar de su constante evolución, el mercado de la IA atraviesa una brecha significativa en la oferta actual. Los comentarios de nuestros clientes y del mercado en general subrayan el deseo de disponer de más opciones. Las empresas sopesan consideraciones como la disponibilidad, la escalabilidad, el rendimiento, el coste y la eficiencia energética. Intel Gaudi 3 destaca como la alternativa GenAI que presenta una combinación convincente de rendimiento de precio, escalabilidad del sistema y ventaja de tiempo-valor».  — Justin Hotard, vicepresidente ejecutivo de Intel y director general del Data Center & AI Group.

¿Por qué es importante?

Hoy en día, las empresas de sectores críticos como el financiero, el manufacturero y el sanitario están tratando de ampliar rápidamente la accesibilidad a la IA y la transición de los proyectos de IA generativa (GenAI) de las fases experimentales a la implementación a gran escala. Para gestionar esta transición, impulsar la innovación y alcanzar los objetivos de crecimiento de los ingresos, las empresas necesitan soluciones y productos abiertos, rentables y más eficientes energéticamente que satisfagan las necesidades de retorno de la inversión (ROI) y eficiencia operativa.

El acelerador Intel Gaudi 3 cumplirá estos requisitos y ofrecerá versatilidad a través de software abierto basado en la comunidad y Ethernet abierta estándar del sector, ayudando a las empresas a escalar con flexibilidad sus sistemas y aplicaciones de IA.

¿Cómo la arquitectura personalizada ofrece desempeño y eficiencia GenAI?

El acelerador Intel Gaudi 3, diseñado para la computación eficiente de IA a gran escala, se fabrica en un proceso de 5 nanómetros (nm) y ofrece avances significativos con respecto a su predecesor. Está diseñado para permitir la activación de todos los motores en paralelo -con el motor de multiplicación de matrices (MME), los núcleos procesadores de tensor (TPC) y las tarjetas de interfaz de red (NIC)-, lo que permite la aceleración necesaria para un cómputo de aprendizaje profundo rápido, eficiente y a escala. Entre las características clave se incluyen:

• Motor de cómputo dedicado a la IA. El acelerador Intel Gaudi 3 fue diseñado especialmente para cómputo GenAI de alto desempeño y alta eficiencia. Cada acelerador cuenta con un motor informático heterogéneo compuesto por 64 TPC personalizadas y programables para IA y ocho MME. Cada MME de Intel Gaudi 3 es capaz de realizar la impresionante cantidad de 64.000 operaciones paralelas, lo que permite un alto grado de eficiencia computacional, haciéndolos expertos en el manejo de operaciones matriciales complejas, un tipo de computación que es fundamental para los algoritmos de aprendizaje profundo. Este diseño único acelera la velocidad y la eficiencia de las operaciones paralelas de IA y admite múltiples tipos de datos, incluidos FP8 y BF16.
• Aumento de memoria para LLM Requisitos de capacidad. 128 gigabytes (GB) de capacidad de memoria HBMe2, 3,7 terabytes (TB) de ancho de banda de memoria y 96 megabytes (MB) de memoria estática de acceso aleatorio (SRAM) incorporada proporcionan memoria de sobra para procesar grandes conjuntos de datos de GenAI, lo que resulta especialmente útil para servir grandes modelos lingüísticos y multimodales, lo que se traduce en un mayor rendimiento de la carga de trabajo y una mayor eficiencia de costes del centro de datos.
• Escala eficiente del sistema para GenAI empresarial. Cada acelerador Intel Gaudi 3 integra 24 puertos Ethernet de 200 gigabits (Gb), lo que proporciona una red flexible y de estándar abierto. Permiten un escalado eficiente para admitir grandes clústeres informáticos y eliminan la dependencia de proveedores de tejidos de red propietarios. El acelerador Intel Gaudi 3 está diseñado para ampliarse y reducirse eficientemente desde un solo nodo hasta miles, a fin de satisfacer los requisitos expansivos de los modelos GenAI.
• Software abierto del sector para la productividad de los desarrolladores. El software Intel Gaudi integra el marco PyTorch y proporciona modelos optimizados basados en la comunidad Hugging Face, el marco de IA más común para los desarrolladores de GenAI en la actualidad. Esto permite a los desarrolladores de GenAI operar a un alto nivel de abstracción para facilitar el uso y la productividad, así como la portabilidad de modelos entre distintos tipos de hardware.
• Gaudi 3 PCIe. La tarjeta complementaria Gaudi 3 Peripheral Component Interconnect Express (PCIe) es una novedad en la línea de productos. Este nuevo factor de forma, diseñado para ofrecer una alta eficiencia con un menor consumo de energía, es ideal para cargas de trabajo como el ajuste fino, la inferencia y la generación aumentada por recuperación (RAG). Está equipada como factor de forma de altura completa a 600 vatios, con una capacidad de memoria de 128 GB y un ancho de banda de 3,7 TB por segundo.

El acelerador Intel Gaudi 3 ofrecerá importantes mejoras de rendimiento para tareas de formación e inferencia en los principales modelos de GenAI. En concreto, se prevé que el acelerador Gaudi 3 ofrezca, de media, en comparación con Nvidia H100:

• 50% más de velocidad de entrenamiento ¹ en los modelos Llama2 de 7B y 13B parámetros, y GPT-3 de 175B parámetros.
• Rendimiento de inferencia un 50% más rápido² y eficiencia energética de inferencia un 40% mayor³ en los modelos de parámetros Llama 7B y 70B, y Falcon 180B. Una ventaja de rendimiento de inferencia aún mayor en secuencias de entrada y salida más largas.
• Un 30% más rápida ⁴ en los modelos de parámetros Llama 7B y 70B, y Falcon 180B frente a Nvidia H200.

Acerca de la adopción y disponibilidad en el mercado.

El acelerador Intel Gaudi 3 estará disponible para los fabricantes de equipos originales (OEM, por sus siglas en inglés) en el segundo trimestre de 2024 en configuraciones estándar del sector de placa base universal y módulo acelerador abierto (OAM, por sus siglas en inglés). Entre los OEM destacados que lanzarán Gaudi 3 al mercado se encuentran Dell Technologies, HPE, Lenovo y Supermicro. La disponibilidad general del acelerador Intel Gaudi 3 está prevista para el tercer trimestre de 2024 y la de la tarjeta complementaria PCIe Intel Gaudi 3 para el último trimestre de 2024.

El acelerador Intel Gaudi 3 también alimentará varias infraestructuras rentables de LLM en la nube para formación e inferencia, ofreciendo ventajas de precio-rendimiento y opciones a las organizaciones que ahora incluyen NAVER.

Los desarrolladores pueden empezar hoy mismo con el acceso a instancias basadas en Intel Gaudi 2 en la nube para desarrolladores para aprender, crear prototipos, probar y ejecutar aplicaciones y cargas de trabajo.

Lo que viene.

El impulso del acelerador Intel Gaudi 3 será fundamental para Falcon Shores, la unidad de procesamiento gráfico (GPU) de próxima generación de Intel para IA y computación de alto rendimiento (HPC). Falcon Shores integrará la propiedad intelectual (IP) de Intel Gaudi e Intel® ^Xe con una única interfaz de programación de GPU basada en la especificación Intel® oneAPI.